#hybrid attention

4 篇

ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search

ZGCM-1：面向数学与智能体搜索的全开源高效基础模型

🧭 高效训练 · Agentic Search ★ 深度解读

Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence

全开源 7B 模型，靠混合注意力、FP8/Muon 与 MDP 中训，在数学和 Agentic Search 上逼近大模型

📌 工作参考价值（5 点）

混合注意力 5:1 SWA/global 可在 256K 上下文将 KV cache 降 6.4x、吞吐提升 3.94x：适合电商多轮对话、长用户行为序列或长文档检索场景，用 7B 级模型支撑长上下文 Agent 而不过度消耗显存。
把交互轨迹改写为 MDP 状态-动作对做稠密监督，比整段模仿学习更利于训练 Agent 在搜索/推荐中做局部决策（如何时调用搜索、扩展 query、停止迭代）；可直接复用到电商导购 Agent 的工具调用数据构造。
FP8+Muon+TWEO 组合实现约 4.2x pre-training time-to-loss，内部迭代模型可行；尤其 TWEO 抑制激活 outlier 是 FP8 稳定的关键，可在训练栈中尝试。
SFT 数据质量裁剪：约剪掉一半候选，六基准均值 67.78→68.83，证明高质量数据胜于堆量；对电商话术/导购数据可借鉴严格去污和分层过滤。
Agent 数据与 general 数据联合训练优于先 general 后 agentic 或只 agentic：对话式购物助手不应只用领域轨迹，需保留通用指令遵循能力。

Training | 2026-09-10 | HF Daily | score 8/10

jina-reranker-v3.5：基于混合注意力与自蒸馏的高效列表重排器

🧭 列表重排·混合注意力·自蒸馏 ★ 深度解读

Jina AI by Elastic

0.6B列表重排器通过混合窗口/全局注意力与三阶段自蒸馏，在保持重排质量的同时大幅降低延迟并提升结构化数据理解

📌 工作参考价值（4 点）

混合注意力用于重排器降延迟：将全注意力改为 3L2G 滑动窗口+全局层交错，终端层保持全局，可显著降低 listwise 重排的预填充延迟（最长序列下 1.56× 提速），适合电商搜索候选列表较长的场景。
三阶段自蒸馏解决注意力模式不匹配：先用全注意力训练教师，再用稀疏注意力适应学生，最后用排名/分数/状态/嵌入多层蒸馏回收性能。该范式可迁移到将大模型重排能力蒸馏进小模型或不同架构的部署模型。
以失败模式驱动训练数据构建：针对法律、金融、结构化等重排易失败领域，用 LLM 合成约束型查询与近重复硬负例，高频采样困难切片，有效提升 domain‑specific 零样本性能（法律任务提升 14 点 nDCG@10），电商商品目录或知识图谱场景可直接复用此数据策略。
结构化字段重排的增强方式：对 JSON/表格数据生成约束条件→查询→字段扰动硬负例→LLM 打标，让模型学习字段级别的匹配而非表面词重叠，适用于电商属性筛选、表格数据的重排任务。

RecSys | 2026-07-20 | cs.IR | score 8/10

面向长上下文的混合注意力模型层选择优化

🧭 混合注意力模型自动化层选择

Fudan University · ByteDance Seed · The Chinese University of Hong Kong

提出FlashMorph，通过联合优化层门控自动选择全注意力层，构建高效长上下文混合模型

📌 工作参考价值（4 点）

在搜索推荐场景中处理用户长行为序列、多轮对话等长上下文时，可借鉴 FlashMorph 将全注意力模型转换为部分线性注意力的混合架构，在保留关键层全注意力的同时大幅降低推理成本。
层选择不再依赖手工规则，而是通过可学习门控在合成数据上端到端优化，能自动发现更优的混合配置，适合业务中快速适配不同长上下文任务。
线性化正则项显式鼓励模型信任线性注意力，防止门控退化成全注意力，可在部署时平衡效率与效果。
整个流程冻结原模型权重，仅优化门控和后续微调，实现成本低，便于在已有业务模型上低成本实验和上线。

LLM | 2026-06-29 | cs.CL | score 7/10

重新思考混合架构中高效注意力的作用

🧭 混合注意力架构的机制分析与设计

Tsinghua University · OpenBMB

高效注意力影响长文本能力涌现速度，全注意力主导检索，大窗口延迟检索头形成，小窗口+NoPE 有效提升长文本性能

📌 工作参考价值（4 点）

若在电商搜索或 Agent 场景使用长上下文 LLM，可借鉴「仅在全注意力层移除位置编码（NoPE）」的技巧，以微小的短上下文性能代价大幅提升长文档检索能力，适合处理产品评论汇总、客服多轮对话等任务。
发现「大窗口懒惰」现象：过大的滑窗反而延迟全注意力层中检索头的形成，因此在设计混合注意力架构时，需权衡窗口大小对训练早期检索能力的影响，避免盲目扩大窗口。
实验表明不同高效注意力设计最终收敛到相当的长上下文性能，从业者在选型时可将重点放在推理效率而非担心最终性能差异。
通过分析全注意力层与高效注意力层在长程检索中的分工，可指导混合模型微调：冻结全注意力层已足以保留检索能力，高效注意力层可针对其他任务适配。

LLM | 2026-06-12 | HF Daily | score 6/10